搜寻引擎的解决目标是互联网络网页，日前网页单位以百亿计，故而搜寻引擎率先面临的问题就是：若何可以设计出高效的键入零碎，以将如此洪量的网页数据传送到异乡，在异乡构成互联网络网页的镜像备案。
网络爬虫即起此效用，它是搜寻引擎零碎中很要害也根根底的构件。那里关紧申说与网络爬虫相关的技能，只管爬虫技能情节若干十年的停滞，从通体框架上已纯粹成熟，但随着联网的一直停滞，也面临着一点儿有求战性的新问题。
下图所示是一个通用的爬虫框架流程。率先从互联网络页面中精心取舍一全体网页，以该署网页的链接地址作为子粒，将该署子粒放入待抓取队列中，爬虫从待抓取队列依次读取，并将情节解析，把链接地址转换为网站服务器对应的地址。
而后将其和网页纯粹门径名称开赴网页键入器，网页键入器负责页面意思的键入。关于键入到异乡的网页，一上头将其存储到页面库中，期待构建索引等后续解决;另一上头将键入网页的放入已抓取队列中，某个队列记录了爬虫零碎曾经键入过的网页，以避免网页的反复抓取。关于刚键入的网页，居中抽存入所蕴含的所有链接信息，并在已抓取队列中审查，那么发现链接还没有被抓取过，则将某个放入待抓取队列开端，在而后的抓取调度中会键入某个对应的网页。如此这般，构成轮回，直至待抓取队名列审，这**着爬虫零碎已将可以抓取的网页尽数抓完，此时践行了一轮纯粹的抓取内中。
关于爬虫来说，往往还须要接续网页去重及网页反舞弊。
上述是一个通用爬虫的通体流程，那么从更加直观的观点思忖，在于静态抓取内中中的爬虫和互联网络所有网页之间的关系，能够大体像如图22所身那么，将互联网络页面划分为5个全体：
1.已键入网页拆伙：爬虫曾经从互联网络键入到异乡接续索引的网页拆伙。
2.已逾期网页拆伙：因为网页数最硕大，爬虫纯粹抓取一轮须要较短工夫，在抓取内中中，洒洒曾经键入的网页可能逾期。之故而如此，是所以互联网络网页在于一直的静态变迁内中中，故而易萌生异乡网页意思和真个互联网络网页不一统的面貌。
3.待键入网页拆伙：即在于上图中待抓取队列中的网页，该署网页行将被爬虫键入。
4.可知网页拆伙：该署网页还没有被爬虫键入，也没有涌方今待抓取队列中，然而情节曾经抓取的网页仍然在待抓取队列中的网页，afnun总足可以情节链接关系发现它们，稍晚时机缘被爬虫抓取并索引。
5.不了知网页拆伙：长处网页关于爬虫来说是怎奈抓取到的，这全体网页形成了不了知网页拆伙。实事上，这全体网页所占的对比颀长。
依据相反的利用，爬虫零碎在好些上头存在差距，大体而言，能够将爬虫划分为如次三品种型:
1. 批量型爬虫（ ）：批量型爬虫有比拟明确的抓取规模和指标，当爬虫达成某个设定的指标后，即稽留抓取内中。至于具体指标可能各异，兴许是设定抓取定然单位的网页即可，兴许是设定抓取缔费的工夫等。
2.增量型爬虫（ ）：增量型爬虫与批量型爬虫相反，会保持传续一直的抓取，关于抓取到的网页，要定期复旧，所以互联网络的网页在于一直变迁中，新增网页、网页被芟除仍然网页意思更改都很常见，而增量型爬虫须要及早反映这种变迁，故而在于传续一直的抓取内中中，不是在抓取新网页，就是在复旧已有网页。通用的生意搜寻引擎爬虫根本都属该类。
3.铅直型爬虫 ）：铅直型爬虫关注一定正题意思仍然归属一定行当的网页，借喻关于病弱网站来说，只要要从互联网络页而里找到与病弱相关的页面意思即可，其余行当的意思不在思忖规模。铅直型爬虫一个的特点和难点就是：若何识别网页意思是否归属指定行当仍然正题。从节约零碎资源的观点来说，不太可能把所有互联网络页面键入下来而后再去筛选，那样糜费资源就太尽力了，往往须要爬虫在抓取阶段就可以静态识别某个网址是否与正题相关，并放量不去抓墩无干页面，以达成节约资源的目标。铅直搜寻网站仍然铅直行当网站往往须要此品种型的爬虫。